Single-Teacher View Augmentation: Enhancing Knowledge Distillation with Student-Guided Perturbations
单教师视角增强：利用学生引导扰动改进知识蒸馏
🧭 知识蒸馏 · 视角增强
用学生动态特征引导无参数循环移位生成多样视角，实现单阶段高效知识蒸馏
📌 工作参考价值（4 点）
- 电商/广告推荐模型压缩场景（如CTR、排序模型）中，蒸馏轻量级在线模型时，可直接使用学生模型的动态特征生成多视角监督，提升泛化能力，无需维护多个教师或复杂的训练流程。
- 无参数的循环移位扰动实现零额外参数开销，适合资源敏感型线上推理环境；单阶段训练避免预教师训练，简化工程链路。
- 可借鉴该思路将学生特征作为条件，设计自适应噪声注入（如特征层随机移位、维度重排），生成多样化的虚拟教师视图，替代传统的固定教师输出。
- 方法对模型结构无侵入性，可快速集成到现有的 logit/feature 蒸馏框架中，实验观察可直接迁移至电商领域的同等架构模型。